Долгожданная новость от компании StarWind: вышла восьмая версия продукта для создания отказоустойчивых кластеров хранилищ - StarWindV8! Решение теперь называется StarWind Virtual SAN, и, как и раньше, оно доступно для двух платформ - VMware и Hyper-V. Cкоро мы напишем о новой версии этого продукта весьма детально.

Тем же из вас, кто находится сейчас на глобальной конференции Microsoft TechEd 2014, проходящей в Хьюстоне, мы настоятельно рекомендуем заглянуть на стенд компании StarWind Software (номер #746) по двум причинам:

• Вам покажут живое демо продукта StarWind V8, который уже вышел и доступен для загрузки.
• Расскажут о том, как наполовину снизить издержки на содержание инфраструктуры небольшой организации или филиала при удвоении эффективности.

Компания VMware выпустила полезный документ VMware Virtual SAN Hardware Design Guide, который позволяет получить информацию о том, как правильно выбрать аппаратное обеспечение для построения отказоустойчивого кластера хранилищ на базе локальных дисков серверов - VMware Virtual SAN.

Пример правильного узла для кластера VSAN:

Внутри документа вы найдете информацию о том, как выбрать:

• Форм-фактор серверов
• Загрузочные устройства
• Флэш-накопители
• HDD-диски
• Контроллеры хранилищ
• Сетевые адаптеры

Ну и, конечно же, не стоит забывать про ресурс VMware Hardware Compatibility Guide (HCL), где можно найти актуальный список аппаратного обеспечения, совместимого с различными продуктами и технологиями VMware.

Для тех, кто задумался о промышленном внедрении VMware VSAN, документ - мастрид.

Мы уже много писали о решении VMware для создания кластеров хранилищ - технологии Virtual SAN, которая позволяет построить отказоустойчивую архитектуру хранения на базе локальных дисков серверов VMware ESXi.

На днях компания VMware выпустила очень полезный, а глвное бесплатный, онлайн-курс VMware Virtual SAN Fundamentals [V5.5], посвященный базовым принципам работы продукта и его администрирования.

Курс состоит из четырех модулей:

Module 1: Introduction to Virtual SAN

• Software-Defined Storage
• The Benefits of Virtual SAN
• Advantages of Virtual SAN over Traditional Storage and VSA.’

Module 2: Software-Defined Data Center

• Use Cases
• Virtual Desktop Infrastructure (VDI)
• Test and development
• Disaster recovery
• Management cluster storage
• DMZ
• Remote office/branch office
• POC Pre-Qualification Checklist

Module 3: Virtual SAN Architecture

• Virtual SAN Architecture
• Virtual SAN Objects and Components
• Virtual SAN prerequisites
• Virtual SAN cluster sizing requirements

Module 4: Configuring Virtual SAN (Optional)

• Enable Virtual SAN on a cluster
• Create disk group
• Storage policies
• Expand Virtual SAN cluster

Недавно компания VMware начала серию статей про совместимость ее решения для организации кластеров хранилищ Virtual SAN с различными продуктами (например, с vCloud Automation Center и решением для резервного копирования vSphere Data Protection). Но многих пользователей интересует юзкейс использования VSAN для катастрофоустойчивой инфраструктуры, управляемой VMware Site Recovery Manager. А именно, с точки зрения экономии, наиболее интересным вариантом является создание резервной инфраструктуры на базе хранилищ локальных дисков серверов VMware ESXi, бэкэнд которых обеспечивается кластером хранилищ VSAN:

Такая схема полностью поддерживается со стороны VMware, как для решения vSphere Replication, обеспечивающего репликацию виртуальных машин на резервный сайт и его VSAN-хранилища, так и для vCenter Site Recovery Manager, обеспечивающего оркестрацию процесса.

Естественно, на данный момент поддерживается совместимость SRM+VSAN только на базе технологии асинхронной репликации vSphere Replication, поэтому такой сценарий не подойдет тем, кто хочет обеспечить RPO=0 для сервисов виртуальных машин в случае массового сбоя или катастрофы на основной площадке. Но для сценариев с RPO=15 минут такая схема вполне подойдет.

Зато такая схема не требует больших вложений в резервную инфраструктуру - не нужно покупать дорогостоящие FC-хранилища, SAN-коммутаторы и прочее. Для организации такой схемы резервирования можно использовать как только механизм vSphere Replication (но тогда потребуются регулярные ручные операции + ручное сопровождение в случае сбоя), так и автоматизировать процесс с помощью vCenter SRM.

При этом SRM может обеспечить следующие возможности:

• Автоматизированный Failover и Failback (нужно только нажать кнопку).
• Управление процессом восстановления из консоли vCenter.
• Возможность запланированной миграции сервисов на резервную площадку (при этом основную площадку можно сделать резервной).
• Несколько точек для восстановления в случае порчи данных (например, надо откатиться на день назад).
• Возможность протестировать процесс восстановления, не затрагивая продакшен-среду.

На тему всего этого компания VMware сделала отличное поясняющее видео, в котором показан процесс переезда с традиционной SAN-инфраструктуры на новую площадку, где хранилища построены на базе технологии VMware Virtual SAN:

В последнее время мы много писали о решении VMware Virtual SAN (например, тут, тут и тут), которое, казалось бы, нахваливали со всех сторон. Само по себе решение весьма неплохое, но в этом посте мы положим половничек дегтя в выглядящую распрекрасно бочку меда VSAN.

Итак, VMware Virtual SAN поставляется в трех вариантах:

• VMware VSAN с лицензией на процессоры хост-серверов VMware ESXi.
• VSAN with Data Protection - вместе с лицензией на средство резервного копирования VMware vSphere Data Protection.
• VSAN for Desktop - для размещения виртуальных ПК в инфраструктуре VMware Horizon View. Лицензируется на пользователя (именованного или по одновременным подключениям), вне зависимости от объема виртуальных ПК и используемых процессоров хостов.

Американская стоимость этих вариантов такова:

Как мы видим, если наш сервер VMware ESXi двухпроцессорный, то за лицензию VSAN на один сервер придется заплатить почти $5K. Что превышает стоимость некоторых неплохо упакованных серверов. Ах, да - мы забыли поддержку, которую обязательно приобретать с большинством продуктов VMware (без нее купить нельзя).

Давайте же взглянем на российский ценник:

• VMware Virtual SAN 5 for 1 processor (ST-VSAN-C) = $2 744,50
• Basic Support/Subscription for VMware Virtual SAN 5 for 1 processor (ST-VSAN-G-SSS-C) = $ 576,40 * 1,18 (НДС) = $680,15

Итого = $3424,65 * 2 (два процессора) = $6849,30

С учетом сегодняшнего курса доллара, который скачет как волшебный кролик, получается весьма (не)приличная сумма за программку для создания кластеров хранилищ.

Ну вы помните, да, что еще вообще-то нужно покупать VMware vSphere? Давайте взглянем, сколько сейчас стоит лицензия VMware vSphere Enterprise Plus на рассматриваемый нами сервер:

• VMware vSphere 5 Enterprise Plus for 1 processor (VS5-ENT-PL-C) = $4 543,50
• Basic Support/Subscription for VMware vSphere 5 Enterprise Plus for 1 processor for 1 year (VS5-ENT-PL-G-SSS-C) = $954,20 * 1,18 (НДС) = $1125,95

Итак, стоимость VMware vSphere на 1 сервер составляет: $5669,45 * 2 (два процессора) = $11 338,90.

Ну что ж, мы близки к катарсису. Сложим стоимость лицензий VMware vSphere и Virtual SAN для одного двухпроцессорного сервера:

$6849,30 + $11 338,90 = $ 18 188,20

Восемнадцать штук баксов за софт на сервере! Может это и нормально, кто знает. Этот пост не о том, как это дорого, а о том, во сколько это вам обойдется. Так-то.

Ну и для тех, кто готов идти дальше несмотря ни на что, обновились демки решения Virtual SAN на сайте проекта VMware Product Walkthrough Demos:

Недавно мы писали о том, что компания VMware планирует выпуск решения для создания кластеров хранилищ на базе локальных дисков серверов - VMware Virtual SAN. И вот это случилось - вышла первая версия VMware Virtual SAN 1.0 и обновление VMware vSphere 5.5 Update 1, в котором есть поддержка VSAN (кстати, апгрейд с бета-версий VSAN на релизную не поддерживается). Для ESXi и vCenter апдейт с прошлой версии является кумулятивным, поэтому нет нужды накатывать предыдущие патчи для 5.5.

Помимо поддержки VMware VSAN, в платформе VMware vSphere 5.5 Update 1 добавились следующие функции:

• Плагин клиента vCloud Hybrid Service теперь доступен в vSphere Web Client.
• vCenter Server теперь полностью поддерживается на платформе Windows Server 2012 R2.
• Множественные исправления ошибок.

Надо отметить, что для поддержки VMware Virtual SAN обновилась не только платформа VMware vSphere, но и решение для виртуализации настольных ПК VMware Horizon View, которое теперь поддерживает размещение десктопов на хранилищах VSAN. Поэтому приведем ниже основные ссылки на обновившиеся компоненты:

• vCenter Server Update 1 download (+ release notes)
• ESXi 5.5 Update 1 download (+ release notes)
• Horizon View 5.3.1 download (VSAN release) (+ release notes)
• Horizon Workspace 1.8 (+ release notes)

Кстати, для тех, кто хочет узнать о том, как начать использовать VSAN с VMware Horizon View, есть вот такая KB 2073795.

В составе vSphere обновились также следующие компоненты до новых версий:

• vSphere Replication 5.5.1 (скачать)
• vSphere Data Protection 5.5.6 (скачать)
• VMware vCenter Orchestrator appliance 5.5.1 (скачать)

Но это еще не все. Обновились также и другие продукты VMware, чтобы обеспечить поддержку VSAN:

• VMware vCloud Director 5.5.1 (скачать)
• VMware vCenter Operations Manager Advanced 5.8.1 (скачать)
• VMware vCenter Hyperic 5.8.1 Server (и agent) (скачать)
• VMware vCenter Site recovery manager 5.5.1 (скачать)
• VMware vCloud Application Director 6.0.1 (скачать)

Централизованно все обновленные компоненты решений VMware можно найти по этой ссылке.

А вот в какой последовательности стоит обновлять эти компоненты, если у вас много продуктов VMware, и вы хотите внедрять VSAN:

* Если вы используете Cisco Nexus 1000V, см. KB 2057795
** Если вы используете vSphere Storage Appliance, убедитесь, что vCenter Server был обновлен минимум до версии vSphere 5.1 Update 1, чтобы он поддерживал vSphere Storage Appliance 5.5.

Напомним также все наши посты о решении VMware Virtual SAN:

• 10 марта выходит VMware Virtual SAN (VSAN) - основные особенности
• Калькулятор для расчета необходимой дисковой емкости под кластер VMware Virtual SAN (VSAN)
• Как кластер VMware Virtual SAN (VSAN) обслуживает запросы на чтение блоков
• Как ведет себя кластер VMware Virtual SAN (VSAN) в случае сбоев дисков или хоста VMware vSphere / ESXi
• Сайзинг кластеров хранилищ VMware VSAN в VMware vSphere и их отказоустойчивость
• Обновление VMware Virtual SAN Beta - и сравнение производительности с каким-то Flash-массивом
• Производительность кластера хранилищ VMware VSAN для виртуальных ПК VMware View при масштабировании
• Новый документ: "What’s New in VMware Virtual SAN (VSAN)"
• Чем отличаются VMware VSA и VSAN - сравнение

Ну и последнее, но не менее важное. Практически одновременно с релизом VSAN 1.0 компания VMware выпустила очень полезный документ "VMware VSAN Design and Sizing Guide", в котором приводятся различные рекомендации по построению инфраструктуры VSAN, а также выбору числа дисков, памяти и других параметров и количества хост-серверов VMware ESXi.

Также в документе приведены практические примеры по расчету необходимого числа хостов и дисковой емкости:

Документация по VMware VSAN доступна тут.

Мы довольно много пишем про кластеры хранилищ VMware Virtual SAN (VSAN), которые создаются на базе локальных дисков серверов VMware ESXi (например, тут и тут, а в последний раз - тут). А сегодня мы хотим рассказать о калькуляторе, который может пригодиться для расчета необходимой емкости хранилищ под Virtual SAN.

Написал его Duncan Epping, известный специалист по VMware vSphere и блоггер - один из немногих, которому можно верить.

Калькулятор рассчитывает общее количество требуемого дискового пространства (HDD и SSD-диски) как для кластера в целом, так и для одного хоста VMware ESXi, принимая в качестве исходных данных следующие параметры:

• Количество ВМ в кластере хранилищ.
• Объем оперативной памяти машины (vRAM).
• Размер виртуального диска машины.
• Число хостов, используемое для построения кластера.
• Параметр Failures to tolerate (о нем мы писали тут).
• Процент дискового пространства на метаданные и прочие издержки виртуализации хранилищ (по лучшим практикам - где-то 10%).
• Процент пространства, которое занимает SSD-накопитель от дискового пространства на базе HDD-дисков хоста ESXi.

Поиграть с калькулятором дискового пространства для Virtual SAN можно по этой ссылке.

Мы уже немало писали про кластеры хранилищ VMware Virtual SAN (последнее - тут и тут), а сегодня рассмотрим механизм работы запросов на чтение блоков, который описал в своем блоге Duncan Epping.

Итак, схема кластера VMware Virtual SAN:

Здесь мы видим такую картину - виртуальная машина находится на хосте ESXi-01, а ее блоки размером 1 МБ размещаются на хранилищах разных хостов. При этом блоком 1 владеет ESXi-01, а блоком 2 - ESXi-03. Хост ESXi-02 не принимает участия в обработке запросов ввода-вывода.

Схема работы запроса на чтение проста - сначала проверяется наличие блока в кэше на чтение (Read cache), и если там блока не оказывается, то проверяется Write buffer на хранилище SSD (если блок еще не успел записаться на HDD) и непосредственно сам HDD-диск. В данном случае блок 1 нашелся на SSD-диске в кэше на чтение.

Второй же блок обслуживается хостом ESXi-03, но его не оказалось в кэше на чтение, и он читается с HDD-диска. Тут надо отметить, что кластер Virtual SAN помещает блоки в кэш на чтение только на тех хостах, которые активно обслуживают этот блок и владеют им, а те хосты, которые просто хранят копию данных - в Read cache таких блоков не помещают.

Как многие знают, в VMware vSphere 5.5 появились возможности Virtual SAN, которые позволяют создать кластер хранилищ для виртуальных машин на основе комбинации SSD+HDD локальных дисков серверов VMware ESXi. Не так давно вышла обновленная бета этого решения, кроме того мы не так давно писали о производительности VSAN тут и тут.

Сегодня же мы поговорим о том, как нужно сайзить хранилища Virtual SAN в VMware vSphere, а также немного затронем тему отказоустойчивости. Более детальную информацию можно найти в VMware Virtual SAN Design & Sizing Guide, а ниже мы расскажем о подходе к планированию хранилищ VSAN вкратце.

Объекты и компоненты Virtual SAN

Начнем с простого ограничения по объектам (objects) и компонентам (components), которое есть в VSAN. Виртуальные машины, развернутые на vsanDatastore, могут иметь 4 типа объектов:

• Домашняя директория виртуальной машины Virtual Machine ("namespace directory").
• Объект файла подкачки - swap object (для включенной ВМ).
• Виртуальный диск VMDK.
• Дельта-диски для снапшотов. Каждый дельта-диск - это отдельный объект.

Каждый объект, в зависимости от типа RAID, рождает некоторое количество компонентов. Например, один VMDK, размещенный на двух томах страйпа (RAID 0) рождает два объекта. Более подробно об этом написано вот тут.

Так вот, ограничения тут следующие:

• Максимальное число компонентов на 1 хост ESXi: 3000.
• Максимальное число компонентов для одного объекта: 64 (это включает в себя тома страйпов и также реплики VMDK с других хостов).

На практике эти ограничения вряд ли актуальны, однако о них следует знать.

Сколько дисков потребуется для Virtual SAN

Во второй бета-версии VSAN (и, скорее всего, так будет в релизной версии) поддерживается 1 SSD-диск и до 7 HDD-дисков в одной дисковой группе. Всего на один хост VMware ESXi поддерживается до 5 дисковых групп. Таким образом, на хосте поддерживается до 5 SSD-дисков и до 35 HDD-дисков. Надо убедиться, что контроллеры хоста поддерживают необходимое количество дисков, а кроме того нужно проверить список совместимости VSAN HCL, который постоянно пополняется.

Также надо учитывать, что кластер хранилищ Virtual SAN поддерживает расширение как путем добавления новых дисков, так и посредством добавления новых хостов в кластер. На данный момент VMware поддерживает кластер хранилищ максимум из 8 узлов, что суммарно дает емкость в дисках в количестве 40 SSD (1*5*8) и 280 HDD (7*5*8).

Сколько дисковой емкости нужно для Virtual SAN (HDD-диски)

Необходимая емкость под размещение VMDK зависит от используемого параметра FailuresToTolerate (по умолчанию 1), который означает, какое количество отказов хостов может пережить кластер хранилищ. Если установлено значение 1, то реплика одного VMDK будет размещена на дисках еще одного из хостов кластера:

Тут можно сказать о том, как работает отказоустойчивость кластера Virtual SAN. Если отказывает хост, на котором нет виртуальной машины, а есть только VMDK или реплика, то виртуальная машина продолжает работу с основной или резервной копией хранилища. В этом случае начнется процесс реконструкции реплики, но не сразу - а через 60 минут, чтобы дать время на перезагрузки хоста (то есть если произошел не отказ, а плановая или внеплановая перезагрузка), а также на короткие окна обслуживания.

А вот если ломается хост, где исполняется ВМ - начинается процедура восстановления машины средствами VMware HA, который перезапускает ее на другом хосте, взаимодействуя при этом с Virtual SAN.

Более подробно этот процесс рассмотрен вот в этой статье и вот в этом видео:

Однако вернемся к требующейся нам емкости хранилищ. Итак, если мы поняли, что значит политика FailuresToTolerate (FTT), то требуемый объем хранилища для кластера Virtual SAN равняется:

Capacity = VMDK Size * (FTT + 1)

Что, в принципе, и так было очевидно.

Сколько дисковой емкости нужно для Virtual SAN (SSD-диски)

Теперь перейдем к SSD-дискам в кластере VSAN, которые, как известно, используются для вспомогательных целей и не хранят в себе данных виртуальных машин. А именно, вот для чего они нужны (более подробно об этом тут):

• Read Cache - безопасное кэширование операций на чтение. На SSD-диске хранятся наиболее часто используемые блоки, что уменьшает I/O read latency для ВМ.
• Write Buffering - когда приложение внутри гостевой ОС пытается записать данные, оно получает подтверждение записи тогда, когда данные фактически записаны на SSD (не на HDD), таким образом твердотельный накопитель используется как буфер на запись, что небезопасно при внезапном пропадании питания или отказе хоста. Поэтому данные этого буфера дублируются на других хостах кластера и их SSD-дисках.

Так каковы же рекомендации VMware? Очень просты - под SSD кэш и буфер неплохо бы выделять 10% от емкости HDD-дисков хоста. Ну и не забываем про значение FailuresToTolerate (FTT), которое в соответствующее число раз увеличивает требования к емкости SSD.

Таким образом, необходимая емкость SSD-хранилищ равна:

Capacity = (VMDK Size * 0.1) * (FTT + 1)

Ну и напоследок рекомендуем отличнейший список статей на тему VMware Virtual SAN:

• VSAN Part 1 – A first look at VSAN
• VSAN Part 2 – What do you need to get started?
• VSAN Part 3 – It is not a Virtual Storage Appliance
• VSAN Part 4 – Understanding Objects and Components
• VSAN Part 5 – The role of VASA
• VSAN Part 6 – Manual or Automatic Mode
• VSAN Part 7 – Capabilities and VM Storage Policies
• VSAN Part 8 – The role of the SSD
• VSAN Part 9 – Host Failure Scenarios and vSphere HA interop
• VSAN Part 10 – Changing VM Storage Policy on-the-fly

Мы уже писали о технологии VMware Virtual SAN, которая сейчас находится в режиме бета-тестирования. Кроме того, мы затрагивали тему производительности виртуальных ПК VMware Horizon View на хранилищах Virtual SAN (там про то, что VSAN масштабируется почти без потерь производительности).

Сегодня мы хотим рассказать еще о двух вещах. Во-первых, компания VMware выпустила обновление беты Virtual SAN, которое получило следующие новые возможности:

• AHCI fix - как писала VMware ранее, была проблема с контроллерами AHCI, которая приводила к потере данных на устройствах VSAN (см. PDL, Permanent Device Loss). Теперь эту проблему исправили, и можно продолжать тестирование на этих контроллерах.

• New RVC Commands - теперь в Ruby Virtual Console, которая входит в состав VMware vCenter 5.5, есть команды по управлению хранилищами в пространстве имен spbm (Storage Policy Based Management). Существующие политики можно найти в папке "~/storage/vmprofiles".

• PowerCLI fling - многим пользователям интересна автоматизация задач в VMware vCloud Suite. Теперь и для VSAN есть набор командлетов PowerCLI, которые позволяют управлять хранилищами VSAN. Более подробно об этом здесь.

• Limit Changes - в первой бета-версии дисковая группа могла иметь 1 SSD-Накопитель и до 6 HDD-дисков, но поскольку есть серверы, в которых восемь слотов, то HDD-дисков теперь поддерживается до 7 штук (SSD по-прежнему один).

Во-вторых появилась третья статья в серии про Virtual SAN - "VDI Benchmarking Using View Planner on VMware Virtual SAN – Part 3" из цикла статей, где делаются всяческие замеры производительности хранилищ VSAN.

В этот раз сравнивалось некий дисковый массив "all flash storage array", который работает на SSD-накопителях, и 7-ми и 8-ми узловые кластеры Virtual SAN. Результаты в очках, поставленных VDImark (View Planner QoS), поставленные кластеру из хостовых хранилищ и дисковому массиву:

Напомним, что очки VDImark - это число виртуальных машин, которое может быть запущено на данной аппаратной конфигурации с соблюдением определенного порогового значения для операций (на самом деле минимум 95% операций должны попасть в эти трешхолды для ВМ, чтобы их засчитали).

Результаты тестов оказались весьма неплохими. Картинка для тестов по времени отклика операций группы А (интерактивные операции пользователя):

Группа B:

Вывод: Virtual SAN - очень неплох в сравнении с нативной производительностью какого-то SSD-массива (VMware, что это за массив-то??).

Ну и ссылки на все статьи цикла:

• VDI Benchmarking Using View Planner on VMware Virtual SAN – Part 1
• VDI Benchmarking Using View Planner on VMware Virtual SAN – Part 2
• VDI Benchmarking Using View Planner on VMware Virtual SAN – Part 3